2022-06-06
联合学习（FL）启用了分布式系统中用户设备（客户端）上的最新自动语音识别（ASR）模型，从而阻止将原始用户数据传输到中央服务器。 ASR实用采用实践采用面临的主要挑战是在客户身上获得地面真相标签。现有的方法依靠客户手动抄录演讲，这对于获得大型培训语料库是不切实际的。一个有希望的替代方法是使用半/自制的学习方法来利用未标记的用户数据。为此，我们提出了Fednst，这是一种使用私人和未标记的用户数据训练分布式ASR模型的新颖方法。我们探索Fednst的各个方面，例如具有不同比例的标记和未标记数据的培训模型，并评估1173个模拟客户端的建议方法。在LibrisPeech上评估Fednst，其中960个小时的语音数据被平均分为服务器（标签）和客户端（未标记）数据，显示了仅对服务器数据训练的监督基线，相对单词错误率降低}（WERR）22.5％。
translated by 谷歌翻译
横向移动是指威胁参与者最初访问网络的方法，然后逐步通过上述网络收集有关资产的关键数据，直到达到其攻击的最终目标。随着企业网络的复杂性和相互联系的性质的增加，横向移动侵入变得更加复杂，并且需要同样复杂的检测机制，以便在企业量表下实时实时地进行此类威胁。在本文中，作者提出了一种使用用户行为分析和机器学习的新颖，轻巧的方法，用于横向运动检测。具体而言，本文介绍了一种用于网络域特异性特征工程的新方法，该方法可以以每个用户为基础识别横向运动行为。此外，工程功能还被用于开发两个监督的机器学习模型，用于横向运动识别，这些模型在文献中显然超过了先前在文献中看到的模型，同时在具有高级失衡的数据集上保持了稳健的性能。本文介绍的模型和方法也已与安全操作员合作设计，以相关和可解释，以最大程度地发挥影响力并最大程度地减少作为网络威胁检测工具包的价值。本文的基本目标是为近实时的横向运动检测提供一种计算高效的，特定于域的方法，该检测对企业规模的数据量和类别不平衡是可解释且健壮的。
translated by 谷歌翻译
本文研究了在因果图形模型中设计最佳干预措施序列的问题，以最大程度地减少对事后最佳干预的累积后悔。自然，这是一个因果匪徒问题。重点是线性结构方程模型（SEM）和软干预措施的因果匪徒。假定该图的结构是已知的，并且具有$ n $节点。每个节点都假定使用两种线性机制，一种软干预和一种观察性，产生了$ 2^n $可能的干预措施。现有的因果匪徒算法假设，至少完全指定了奖励节点父母的介入分布。但是，有$ 2^n $这样的分布（一个与每个干预措施相对应），即使在中等尺寸的图中也变得越来越高。本文分配了知道这些分布的假设。提出了两种算法，用于常见者（基于UCB）和贝叶斯（基于汤普森采样）的设置。这些算法的关键思想是避免直接估计$ 2^n $奖励分布，而是估算完全指定SEMS（$ n $线性）的参数，并使用它们来计算奖励。在这两种算法中，在噪声和参数空间的有界假设下，累积遗憾的是$ \ tilde {\ cal o}（（（2d）^l l \ sqrt {t}）$，其中$ d $是图的最高度和$ l $是其最长因果路径的长度。
translated by 谷歌翻译
图像语义分割的最新方法涉及计算密集的神经网络体系结构。这些方法中的大多数由于内存和其他计算问题而无法适应高分辨率图像分割。文献中的典型方法涉及神经网络体系结构的设计，这些神经网络体系结构可以从低分辨率图像和高分辨率对应物中的本地信息中融合全球信息。但是，设计用于处理高分辨率图像的体系结构是不必要的复杂的，并且涉及许多可能难以调整的超级参数。同样，这些架构中的大多数都需要对高分辨率图像进行训练的地面真理注释，这很难获得。在本文中，我们基于数学形态（MM）操作员开发了强大的管道，该管道可以无缝地将任何现有的语义分割算法扩展到高分辨率图像。我们的方法不需要高分辨率图像的地面真相注释。它基于有效利用低分辨率对应物中的信息以及有关高分辨率图像的梯度信息。我们使用传统的形态算子从低分辨率图像上的推断标签中获得高质量的种子，并使用随机助行器传播种子标签，以优化边界的语义标签。我们表明，通过我们的方法获得的语义分割结果击败了高分辨率图像上现有的最新算法。我们从经验上证明了我们对管道中使用的超级参数的鲁棒性。此外，我们表征了我们的管道适用的一些必要条件，并对拟议方法提供了深入的分析。
translated by 谷歌翻译
培训生成模型捕获数据的丰富语义并解释由此类模型编码的潜在表示，这是无监督学习的非常重要的问题。在这项工作中，我们提供了一种简单的算法，该算法依赖于对预训练的生成自动编码器的潜在代码进行扰动实验，以发现生成模型暗示的因果图。我们利用预训练的属性分类器并执行扰动实验，以检查给定潜在变量对属性子集的影响。鉴于此，我们表明人们可以拟合有效的因果图，该图形在被视为外源变量的潜在代码和被视为观察到的变量的属性之间建模结构方程模型。一个有趣的方面是，单个潜在变量控制属性的多个重叠子集，与试图实现完全独立性的常规方法不同。使用在肽序列数据集上训练的基于RNN的预先训练的生成自动编码器，我们证明了从各种属性和潜在代码之间的算法中学习的因果图可用于预测看不见的序列的特定属性。我们比较了对所有可用属性训练的预测模型，或者仅在Markov毯子中仅培训的模型，并从经验上表明，在无监督和监督的制度中，通常使用依赖Markov blanket属性的预测变量，以确保更好的分布序列。 。
translated by 谷歌翻译
我们的商品设备中的大量传感器为传感器融合的跟踪提供了丰富的基板。然而，当今的解决方案无法在实用的日常环境中提供多个代理商的强大和高跟踪精度，这是沉浸式和协作应用程序未来的核心。这可以归因于这些融合解决方案利用多样性的有限范围，从而阻止它们迎合准确性，鲁棒性（不同的环境条件）和可伸缩性（多个试剂）的多个维度。在这项工作中，我们通过将双层多样性的概念引入多代理跟踪中的传感器融合问题来朝着这一目标迈出重要的一步。我们证明，互补跟踪方式的融合，被动/亲戚（例如，视觉探测法）和主动/绝对跟踪（例如，基础架构辅助的RF定位）提供了一个关键的多样性第一层，可带来可伸缩性，而第二层的多样性则是多样性的。在于融合的方法论，我们将算法（鲁棒性）和数据驱动（用于准确性）方法汇集在一起。 Rovar是这种双层多样性方法的实施例，使用算法和数据驱动技术智能地参与跨模式信息，共同承担着准确跟踪野外多种代理的负担。广泛的评估揭示了Rovar在跟踪准确性（中位数），鲁棒性（在看不见的环境中），轻重量（在移动平台上实时运行，例如Jetson Nano/tx2），以启用实用的多功能多多数，以启用实用的多功能，以实用代理在日常环境中的沉浸式应用。
translated by 谷歌翻译
在使用不同的培训环境展示时，获得机器学习任务的可推广解决方案的一种方法是找到数据的\ textit {不变表示}。这些是协变量的表示形式，以至于表示形式的最佳模型在培训环境之间是不变的。在线性结构方程模型（SEMS）的背景下，不变表示可能使我们能够以分布范围的保证（即SEM中的干预措施都有牢固的模型学习模型。为了解决{\ em有限示例}设置中不变的表示问题，我们考虑$ \ epsilon $ approximate不变性的概念。我们研究以下问题：如果表示给定数量的培训干预措施大致相当不变，那么在更大的看不见的SEMS集合中，它是否会继续大致不变？这种较大的SEM集合是通过参数化的干预措施来生成的。受PAC学习的启发，我们获得了有限样本的分布概括，保证了近似不变性，该概述\ textit {概率}在没有忠实假设的线性SEMS家族上。我们的结果表明，当干预站点仅限于恒定大小的子集的恒定限制节点的恒定子集时，界限不会在环境维度上扩展。我们还展示了如何将结果扩展到结合潜在变量的线性间接观察模型。
translated by 谷歌翻译
机器学习在图像处理方面取得了很大的成功。但是，这项工作的重点很大程度上是在逼真的图像上，忽略了更多的小众艺术风格，例如像素艺术。此外，许多专注于像素组的传统机器学习模型与单个像素很重要的像素艺术无法很好地工作。我们提出了一个专门的VQ-VAE模型Pixel VQ-VAE，该模型学习了Pixel Art的表示。我们表明，它在嵌入质量以及下游任务的性能中都优于其他模型。
translated by 谷歌翻译
使用机器学习（ML）语言模型（LMS）来监视内容在线上升。对于有毒文本识别，使用由注释器标记的数据集来执行任务特定的微调，这些模型是在努力区分攻击性和正常内容之间的基础标签的数据集。这些项目随着时间的推移，大型数据集的开发，改进和扩展，并对自然语言进行了贡献。尽管取得了成就，但现有的证据表明，在这些数据集上建立的ML模型并不总是导致理想的结果。因此，使用设计科学研究（DSR）方法，该研究审查了选定的有毒文本数据集，其目标是在一些内在的问题上脱落，并有助于讨论导航现有和未来项目的这些挑战。为了实现该研究的目标，我们重新注释了来自三个有毒文本数据集的样本，并发现一个用于注释有毒文本样本的多标签方法可以有助于提高数据集质量。虽然这种方法可能不会改善互联网间协议的传统指标，但它可能更好地捕获对注释器中的上下文和多样性的依赖。我们讨论了这些结果对理论和实践的影响。
translated by 谷歌翻译
两种样本测试评估两个样品是否是相同分布（零假设）或两种不同分布（替代假设）的实现。在传统的本问题的制定中，统计学家可以访问测量（特征变量）和组变量（标签变量）。但是，在几个重要的应用程序中，可以轻松测量特征变量，但二进制标签变量是未知的并且获得昂贵的。在本文中，我们考虑了经典的两个样本测试问题的这一重要变化，并将其构成，作为在执行两个样本测试的服务中仅获得少量样品的标签的问题。我们设计了一个标签高效的三阶段框架：首先，分类器培训，采用均匀标记为模拟标签的后验概率;其次，将一个创新的查询计划被称为\ emph {bimodal查询}用于查询来自两个类别的样本标签，最大的后验概率，最后，对查询样本进行了经典的弗里德曼-RAFSKY（FR）两样测试。我们的理论分析表明，在合理的条件下，双峰查询对于FR测试是最佳的，并且三阶段框架控制I误差。对合成，基准和应用程序特定数据集进行的广泛实验表明，三阶段框架在控制I错误的统一查询和确定的基于标签上的统一查询和确定性的查询中的II型误差减少。
translated by 谷歌翻译